package com.lheia.process


import us.codecraft.webmagic.Page
import us.codecraft.webmagic.Request
import us.codecraft.webmagic.Site
import us.codecraft.webmagic.processor.PageProcessor


interface BaseProcess extends PageProcessor {


    void setIfTest(boolean ifTest)


    @Override
    /**
     * 主要思路使用xpath解析列表也对象添加到请求队列中
     *
     */
    void process(Page page)
    /**
     * 处理列表页
     * @param page
     */
    void processList(Page page)
    /**
     * 处理分页
     * @param page
     */
    void processPaging(Page page)
    /**
     * 如果为测试环境或者开发环境不计入redis去重只使用redisList队列
     * @param page
     */
    void processTargetResquest(Page page)


    def getBeginRequest(String url)

    /**
     * get the site settings
     *
     * @return site* @see Site
     */
    @Override
    Site getSite()
}
